在基于学术和行业的研究中，在线评估方法都被视为推荐系统等交互式应用程序的黄金标准。自然，这样做的原因是，我们可以直接测量依赖干预措施的实用程序指标，这是向用户显示的建议。然而，由于多种原因，在线评估方法是昂贵的，并且对于可靠的离线评估程序仍然存在明确的需求。在行业中，离线指标通常被用作一线评估，以生成有前途的候选模型来在线评估。在学术工作中，对在线系统的有限访问使离线指标是验证新方法的事实上的方法。存在两个类别的离线指标：基于代理的方法和反事实方法。头等舱通常与我们关心的在线指标相关，而后一类仅根据在现实世界中无法实现的假设提供理论保证。在这里，我们表明基于模拟的比较为离线指标提供了前进的方向，并认为它们是可取的评估手段。
translated by 谷歌翻译
我们介绍了概率等级和奖励模型（PRR），这是一个可扩展的概率模型，用于个性化的Slate建议。我们的模型允许在以下无处不在的推荐系统方案中对用户兴趣的最新估计：向用户显示了k个建议的板岩，用户最多可以选择这些K项目中的一个。推荐系统的目标是找到用户最感兴趣的K项目，以最大程度地提高用户与Slate交互的可能性。我们的贡献是表明，我们可以通过结合奖励（无论是否单击板岩，以及等级）而更有效地学习建议成功的可能性。我们的方法比仅使用奖励和仅使用等级的用户偏好方法的盗销方法更有效地学习。它还提供了与独立的逆点分数方法相似或更好的估计性能，并且更可扩展。我们的方法是在大量数据集中的速度和准确性方面的最高速度，最多100万个项目。最后，我们的方法允许快速交付由最大内部产品搜索（MIPS）提供动力的建议，使其适用于极低的延迟域，例如计算广告。
translated by 谷歌翻译
捕获和归因于代码变更引起的生产中的性能回归很难；事先预测它们，甚至更努力。关于自动学习预测软件中性能回归的入门，本文介绍了我们在Meta研究和部署基于ML的回归预测管道时获得的经验。在本文中，我们报告了一项比较研究，其复杂性增加了四个ML模型，从（1）代码 - opaque，（2）单词袋，（3）基于转换的变压器到（4）基于定制变压器的模型，创造的超大通信器。我们的调查表明，性能预测问题的固有难度，其特征是良性对回归变化的不平衡。我们的结果还质疑了基于变压器的架构在性能预测中的一般适用性：基于基础的代码伯特方法的性能令人惊讶。我们高度定制的超大号架构最初实现了预测性能，这与简单的单词模型相当，并且仅在下游用例中优于它们。超级人员将其转移到应用程序的这种能力很少有学习示例提供了在Meta实践中部署它的机会：它可以作为预滤波器来解决不太可能引入回归的更改，从而缩小更改空间的变化空间搜索回归高达43％，比随机基线提高45倍。为了进一步洞悉超大号公园，我们通过一系列计算反事实解释进行了探索。这些突出显示了代码的哪些部分更改模型认为重要的，从而验证了学习的黑框模型。
translated by 谷歌翻译
我们将增强件应用于我们的数据集以增强我们预测的质量，并使我们的最终模型更具弹性，以嘈杂的数据和域漂移。然而，问题仍然存在，这些增强如何使用不同的超参数进行？在这项研究中，我们通过在应用于机器学习模型的不同增强时，通过执行当地代理（石灰）解释来评估模型的超参数的增强和影响。我们利用了用于称重每个增强的线性回归系数。我们的研究证明，有一些增强对超参数和其他更具弹性和可靠的其他增强。
translated by 谷歌翻译
在本文中，我们为多个变量的非凸问题提出了一种新颖的解决方案，尤其是对于通常通过交替最小化（AM）策略解决的方法，将原始优化问题拆分为一组与每个变量相对应的子问题，然后使用固定的更新规则迭代优化每个子问题。但是，由于原始优化问题的固有非凸性，即使在每次迭代中可以最佳地解决每个子问题时，优化通常也可以捕获到虚假的局部最小值中。同时，基于学习的方法，例如深层展开算法，受到缺乏标记的数据和有限的解释性的高度限制。为了解决这些问题，我们提出了一种基于元学习的交替最小化（MLAM）方法，该方法旨在最大程度地减少全球损失的部分损失，而不是在每个子问题上最小化，并且倾向于学习一种自适应策略，以学习一种自适应策略更换手工制作的对手，以提前表现出色。同时，拟议的Mlam仍然保持原始算法原则，这有助于更好的解释性。我们在两个代表性问题上评估了提出的方法，即双线性逆问题：矩阵完成和非线性问题：高斯混合模型。实验结果验证了我们所提出的方法在标准设置中的表现优于基于AM的方法，并且能够在具有挑战性的情况下实现有效的优化，而其他比较方法通常会失败。
translated by 谷歌翻译
氨基酸的分类及其序列分析在生命科学中起着至关重要的作用，并且是一项艰巨的任务。本文使用并比较了最新的深度学习模型，例如卷积神经网络（CNN），长期记忆（LSTM）和门控复发单元（GRU），以解决使用氨基酸的大分子分类问题。与传统的机器学习技术相比，这些模型具有有效的框架来解决广泛的复杂学习问题。我们使用嵌入单词来表示氨基酸序列作为向量。CNN从氨基酸序列中提取特征，这些特征被视为向量，然后喂入上面提到的模型以训练健壮的分类器。我们的结果表明，嵌入与VGG-16相结合的Word2Vec的性能比LSTM和GRU更好。提出的方法的错误率为1.5％。
translated by 谷歌翻译